Mã Long từ nhỏ có trí dũng, ham muốn lập công danh. Năm 251, thứ sử Duyện Châu Lệnh Hồ Ngu nhà Tào Ngụy đã chết vẫn bị quyền thần Tư Mã Ý đào mộ làm tội, cả châu không ai dám nhặt thây. Mã Long đang làm Vũ lại, nói dối là môn khách của Ngu, dùng tài sản riêng để chôn cất. Sau đó ông giữ tang 3 năm, bên mộ trồng tùng bách, trọn lễ mới về, được người trong châu khen ngợi.

Mã Long được thự chức Vũ Mãnh tùng sự. Trong niên hiệu Thái Thủy (266 – 274), Tấn Vũ Đế (thay ngôi nhà Ngụy) chuẩn bị đánh Đông Ngô, hạ chiếu tuyển chọn nhân tài trí dũng, vì thế Duyện Châu tiến cử Long có tài làm tướng. Long dần thăng đến Tư mã đốc.